Automated Regulatory Compliance Question Answering in Financial Services with Domain-Adapted Retrieval-Augmented Generation
基于领域适配检索增强生成的金融合规自动化问答
🧭 RAG 领域适配与忠实性评估
University of Bonn · Lamarr-Institute for Machine Learning and Artificial Intelligence · Universitat Rovira i Virgili · Fraunhofer IAIS
用三阶段领域适配检索器与 RAFT-LoRA 微调紧凑模型，显著提升合规问答召回但暴露 grounding 评估缺口
📌 工作参考价值（4 点）
- 检索器领域适配可采用三阶段训练：entailment tuning 将 question-passage 匹配重构为 premise-hypothesis 重建，再用 in-batch negatives 做对比学习，最后与 BM25 做 score-level fusion，能大幅提升 Recall@10。
- 生成侧用 4-bit 量化的 2B-12B 小模型 + RAFT-LoRA 微调可提升答案质量，且对小模型收益更大；适合对延迟和成本敏感的场景，但需注意 RAFT 需要检索上下文。
- 评估 RAG 生成质量时，RePASs 这类综合分不能证明忠实性：闭卷模型得分与全 pipeline 仅差 0.011，却不引用且误报义务。业务中必须单独设计 grounding/citation 评估，不能只看端到端分数。
- 领域适配后的模型跨域迁移差（文中从 ADGM 规则到澳大利亚判例法失败），若业务要覆盖多法规/多语料，需分别适配或多任务训练。